Multimodal image-text models have shown remarkable performance in the past few years. However, evaluating their robustness against distribution shifts is crucial before adopting them in real-world applications. In this paper, we investigate the robustness of 9 popular open-sourced image-text models under common perturbations on five tasks (image-text retrieval, visual reasoning, visual entailment, image captioning, and text-to-image generation). In particular, we propose several new multimodal robustness benchmarks by applying 17 image perturbation and 16 text perturbation techniques on top of existing datasets. We observe that multimodal models are not robust to image and text perturbations, especially to image perturbations. Among the tested perturbation methods, character-level perturbations constitute the most severe distribution shift for text, and zoom blur is the most severe shift for image data. We also introduce two new robustness metrics (MMI and MOR) for proper evaluations of multimodal models. We hope our extensive study sheds light on new directions for the development of robust multimodal models.

Dataset Distillation (DD), a newly emerging field, aims at generating much smaller and high-quality synthetic datasets from large ones. Existing DD methods based on gradient matching achieve leading performance; however, they are extremely computationally intensive as they require continuously optimizing a dataset among thousands of randomly initialized models. In this paper, we assume that training the synthetic data with diverse models leads to better generalization performance. Thus we propose two \textbf{model augmentation} techniques, ~\ie using \textbf{early-stage models} and \textbf{weight perturbation} to learn an informative synthetic set with significantly reduced training cost. Extensive experiments demonstrate that our method achieves up to 20$\times$ speedup and comparable performance on par with state-of-the-art baseline methods.

This technical report briefly describes our JDExplore d-team's Vega v2 submission on the SuperGLUE leaderboard. SuperGLUE is more challenging than the widely used general language understanding evaluation (GLUE) benchmark, containing eight difficult language understanding tasks, including question answering, natural language inference, word sense disambiguation, coreference resolution, and reasoning. [Method] Instead of arbitrarily increasing the size of a pretrained language model (PLM), our aim is to 1) fully extract knowledge from the input pretraining data given a certain parameter budget, e.g., 6B, and 2) effectively transfer this knowledge to downstream tasks. To achieve goal 1), we propose self-evolution learning for PLMs to wisely predict the informative tokens that should be masked, and supervise the masked language modeling (MLM) process with rectified smooth labels. For goal 2), we leverage the prompt transfer technique to improve the low-resource tasks by transferring the knowledge from the foundation model and related downstream tasks to the target task. [Results] According to our submission record (Oct. 2022), with our optimized pretraining and fine-tuning strategies, our 6B Vega method achieved new state-of-the-art performance on 4/8 tasks, sitting atop the SuperGLUE leaderboard on Oct. 8, 2022, with an average score of 91.3.

Transformer-based language models have become the standard approach to solving natural language processing tasks. However, industry adoption usually requires the maximum throughput to comply with certain latency constraints that prevents Transformer models from being used in production. To address this gap, model compression techniques such as quantization and pruning may be used to improve inference efficiency. However, these compression techniques require specialized software to apply and deploy at scale. In this work, we propose a new pipeline for creating and running Fast Transformer models on CPUs, utilizing hardware-aware pruning, knowledge distillation, quantization, and our own Transformer inference runtime engine with optimized kernels for sparse and quantized operators. We demonstrate the efficiency of our pipeline by creating a Fast DistilBERT model showing minimal accuracy loss on the question-answering SQuADv1.1 benchmark, and throughput results under typical production constraints and environments. Our results outperform existing state-of-the-art Neural Magic's DeepSparse runtime performance by up to 50% and up to 4.1x performance speedup over ONNX Runtime. Source code is publicly available at https://github.com/intel/intel-extension-for-transformers.

在本文中，我们提出了一个新型模型，用于同时稳定的共同检测（COSOD）和对象共裂（Coseg）。为了准确地检测共同水平（分割），核心问题是井井有条模拟图像组之间的图像间关系。一些方法设计了复杂的模块，例如复发性神经网络（RNN），以解决此问题。但是，对订单敏感的问题是RNN的主要缺点，它严重影响了拟议的COSOD（COSEG）模型的稳定性。在本文中，受基于RNN的模型的启发，我们首先提出了一个多路稳定的复发单元（MSRU），其中包含虚拟订单机制（DOM）和复发单元（RU）。我们提出的MSRU不仅有助于COSOD（COSEG）模型捕获强大的图像间关系，还可以降低订单敏感性，从而导致更稳定的推理和训练过程。 {此外，我们设计了一个跨顺序对比损失（COCL），可以通过关闭从不同输入订单生成的功能嵌入来进一步解决订单敏感问题。}我们在五个广泛使用的COSOD数据集（COCA，COOCA，COSOD3K，，，COSOD3K， COSAL2015，ICOSEG和MSRC）以及三个广泛使用的数据集（Internet，Icoseg和Pascal-Voc）用于对象进行分割，性能证明了与最先进的ART（SOTA）相比，提出的方法的优越性方法。

值得信赖的强化学习算法应有能力解决挑战性的现实问题，包括{Robustly}处理不确定性，满足{安全}的限制以避免灾难性的失败，以及在部署过程中{prencepentiming}以避免灾难性的失败}。这项研究旨在概述这些可信赖的强化学习的主要观点，即考虑其在鲁棒性，安全性和概括性上的内在脆弱性。特别是，我们给出严格的表述，对相应的方法进行分类，并讨论每个观点的基准。此外，我们提供了一个前景部分，以刺激有希望的未来方向，并简要讨论考虑人类反馈的外部漏洞。我们希望这项调查可以在统一的框架中将单独的研究汇合在一起，并促进强化学习的可信度。

机器学习的最新进展使其在不同领域的广泛应用程序，最令人兴奋的应用程序之一是自动驾驶汽车（AV），这鼓励了从感知到预测到计划的许多ML算法的开发。但是，培训AV通常需要从不同驾驶环境（例如城市）以及不同类型的个人信息（例如工作时间和路线）收集的大量培训数据。这种收集的大数据被视为以数据为中心的AI时代的ML新油，通常包含大量对隐私敏感的信息，这些信息很难删除甚至审核。尽管现有的隐私保护方法已经取得了某些理论和经验成功，但将它们应用于自动驾驶汽车等现实世界应用时仍存在差距。例如，当培训AVS时，不仅可以单独识别的信息揭示对隐私敏感的信息，还可以揭示人口级别的信息，例如城市内的道路建设以及AVS的专有商业秘密。因此，重新审视AV中隐私风险和相应保护方法的前沿以弥合这一差距至关重要。遵循这一目标，在这项工作中，我们为AVS中的隐私风险和保护方法提供了新的分类法，并将AV中的隐私分为三个层面：个人，人口和专有。我们明确列出了保护每个级别的隐私级别，总结这些挑战的现有解决方案，讨论课程和结论，并为研究人员和从业者提供潜在的未来方向和机会。我们认为，这项工作将有助于塑造AV中的隐私研究，并指导隐私保护技术设计。

传统的联邦优化方法的性能较差（即降低准确性），尤其是对于高度偏斜的数据。在本文中，我们调查了佛罗里达州的标签分布偏斜，在那里标签的分布各不相同。首先，我们从统计视图研究了标签分布偏斜。我们在理论上和经验上都证明了基于软马克斯跨凝结的先前方法不合适，这可能会导致本地模型非常适合少数群体和缺失的类别。此外，我们从理论上引入了一个偏离，以测量本地更新后梯度的偏差。最后，我们建议通过\ textbf {l} ogits \ textbf {c}启动）FedLc（\ textbf {fed {fed}学习，该学习根据每个类别的出现可能性。 FedLC通过添加成对标签的边距将细粒度校准的跨透镜损失应用于本地更新。联合数据集和现实世界数据集的广泛实验表明，联邦快递会导致更准确的全球模型和大大改善的性能。此外，将其他FL方法集成到我们的方法中可以进一步增强全球模型的性能。

人的大脑可以毫不费力地识别和定位对象，而基于激光雷达点云的当前3D对象检测方法仍然报告了较低的性能，以检测闭塞和远处的对象：点云的外观由于遮挡而变化很大，并且在沿线的固有差异沿点固有差异变化。传感器的距离。因此，设计功能表示对此类点云至关重要。受到人类联想识别的启发，我们提出了一个新颖的3D检测框架，该框架通过域的适应来使对象完整特征。我们弥合感知域之间的差距，其中特征是从具有亚最佳表示的真实场景中得出的，以及概念域，其中功能是从由不批准对象组成的增强场景中提取的，并具有丰富的详细信息。研究了一种可行的方法，可以在没有外部数据集的情况下构建概念场景。我们进一步介绍了一个基于注意力的重新加权模块，该模块可适应地增强更翔实区域的特征。该网络的功能增强能力将被利用，而无需在推理过程中引入额外的成本，这是各种3D检测框架中的插件。我们以准确性和速度都在Kitti 3D检测基准上实现了新的最先进性能。关于Nuscenes和Waymo数据集的实验也验证了我们方法的多功能性。

在现实世界中，尽管对该领域的兴趣激增，但在稀疏回报协同环境下进行的加强学习仍然具有挑战性。先前的尝试表明，内在的奖励可以减轻稀疏引起的问题。在本文中，我们提出了一种新颖的固有奖励，该奖励受人类学习的启发，因为人类通过将当前的观察结果与历史知识进行比较来评估好奇心。具体而言，我们训练一个自我监督的预测模型，并保存一组模型参数的快照，而不会产生加法培训成本。然后，我们采用核规范来评估不同快照的预测之间的时间不一致，这可以进一步部署为内在的奖励。此外，提出了一种变异的加权机制，以自适应方式将权重分配给不同的快照。我们证明了所提出的方法在各种基准环境中的功效。结果表明，与其他基于奖励的方法相比，我们的方法可以提供压倒性的最先进性能，而不会产生额外的培训成本并保持更高的噪声耐受性。我们的代码将公开发布以提高可重复性。